Some useful utils for debugging the training and models

import torch
import os
import sys
import cv2
import numpy as np
module_path = os.path.abspath(os.path.join('../'))
if module_path not in sys.path:
    sys.path.append(module_path)

from data_load import ToTensor, ColorJitter, Rescale, RandomCrop, RandomHorizontalFlip
import torchvision.transforms.functional as F
from torchvision.transforms import Compose
import matplotlib.pyplot as plt

def fix_dataparallel_state_dict():
    checkpoint = torch.load(
        '../saved_models/resnet50-pt-yanjiali-010919.pt', map_location='cpu')

    state_dict = checkpoint['model']

    print(state_dict.keys())

    from collections import OrderedDict
    new_state_dict = OrderedDict()
    for k, v in state_dict.items():
        name = k[7:] # remove 'module.' of dataparallel
        new_state_dict[name]=v

    print(new_state_dict.keys())

    torch.save({
        'epoch':
        checkpoint['epoch'],
        'model':
        new_state_dict,
        'optimizer':
        checkpoint['optimizer'],
        'scheduler':
        checkpoint['scheduler'],
        'loggers':
        checkpoint['loggers'],
    }, '../saved_models/resnet50-pt-yanjiali-010919.pt')

fix_dataparallel_state_dict()

odict_keys(['module.conv1.weight', 'module.bn1.weight', 'module.bn1.bias', 'module.bn1.running_mean', 'module.bn1.running_var', 'module.bn1.num_batches_tracked', 'module.conv2x.0.conv1.weight', 'module.conv2x.0.bn1.weight', 'module.conv2x.0.bn1.bias', 'module.conv2x.0.bn1.running_mean', 'module.conv2x.0.bn1.running_var', 'module.conv2x.0.bn1.num_batches_tracked', 'module.conv2x.0.conv2.weight', 'module.conv2x.0.bn2.weight', 'module.conv2x.0.bn2.bias', 'module.conv2x.0.bn2.running_mean', 'module.conv2x.0.bn2.running_var', 'module.conv2x.0.bn2.num_batches_tracked', 'module.conv2x.0.conv3.weight', 'module.conv2x.0.bn3.weight', 'module.conv2x.0.bn3.bias', 'module.conv2x.0.bn3.running_mean', 'module.conv2x.0.bn3.running_var', 'module.conv2x.0.bn3.num_batches_tracked', 'module.conv2x.0.projection.0.weight', 'module.conv2x.0.projection.1.weight', 'module.conv2x.0.projection.1.bias', 'module.conv2x.0.projection.1.running_mean', 'module.conv2x.0.projection.1.running_var', 'module.conv2x.0.projection.1.num_batches_tracked', 'module.conv2x.1.conv1.weight', 'module.conv2x.1.bn1.weight', 'module.conv2x.1.bn1.bias', 'module.conv2x.1.bn1.running_mean', 'module.conv2x.1.bn1.running_var', 'module.conv2x.1.bn1.num_batches_tracked', 'module.conv2x.1.conv2.weight', 'module.conv2x.1.bn2.weight', 'module.conv2x.1.bn2.bias', 'module.conv2x.1.bn2.running_mean', 'module.conv2x.1.bn2.running_var', 'module.conv2x.1.bn2.num_batches_tracked', 'module.conv2x.1.conv3.weight', 'module.conv2x.1.bn3.weight', 'module.conv2x.1.bn3.bias', 'module.conv2x.1.bn3.running_mean', 'module.conv2x.1.bn3.running_var', 'module.conv2x.1.bn3.num_batches_tracked', 'module.conv2x.2.conv1.weight', 'module.conv2x.2.bn1.weight', 'module.conv2x.2.bn1.bias', 'module.conv2x.2.bn1.running_mean', 'module.conv2x.2.bn1.running_var', 'module.conv2x.2.bn1.num_batches_tracked', 'module.conv2x.2.conv2.weight', 'module.conv2x.2.bn2.weight', 'module.conv2x.2.bn2.bias', 'module.conv2x.2.bn2.running_mean', 'module.conv2x.2.bn2.running_var', 'module.conv2x.2.bn2.num_batches_tracked', 'module.conv2x.2.conv3.weight', 'module.conv2x.2.bn3.weight', 'module.conv2x.2.bn3.bias', 'module.conv2x.2.bn3.running_mean', 'module.conv2x.2.bn3.running_var', 'module.conv2x.2.bn3.num_batches_tracked', 'module.conv3x.0.conv1.weight', 'module.conv3x.0.bn1.weight', 'module.conv3x.0.bn1.bias', 'module.conv3x.0.bn1.running_mean', 'module.conv3x.0.bn1.running_var', 'module.conv3x.0.bn1.num_batches_tracked', 'module.conv3x.0.conv2.weight', 'module.conv3x.0.bn2.weight', 'module.conv3x.0.bn2.bias', 'module.conv3x.0.bn2.running_mean', 'module.conv3x.0.bn2.running_var', 'module.conv3x.0.bn2.num_batches_tracked', 'module.conv3x.0.conv3.weight', 'module.conv3x.0.bn3.weight', 'module.conv3x.0.bn3.bias', 'module.conv3x.0.bn3.running_mean', 'module.conv3x.0.bn3.running_var', 'module.conv3x.0.bn3.num_batches_tracked', 'module.conv3x.0.projection.0.weight', 'module.conv3x.0.projection.1.weight', 'module.conv3x.0.projection.1.bias', 'module.conv3x.0.projection.1.running_mean', 'module.conv3x.0.projection.1.running_var', 'module.conv3x.0.projection.1.num_batches_tracked', 'module.conv3x.1.conv1.weight', 'module.conv3x.1.bn1.weight', 'module.conv3x.1.bn1.bias', 'module.conv3x.1.bn1.running_mean', 'module.conv3x.1.bn1.running_var', 'module.conv3x.1.bn1.num_batches_tracked', 'module.conv3x.1.conv2.weight', 'module.conv3x.1.bn2.weight', 'module.conv3x.1.bn2.bias', 'module.conv3x.1.bn2.running_mean', 'module.conv3x.1.bn2.running_var', 'module.conv3x.1.bn2.num_batches_tracked', 'module.conv3x.1.conv3.weight', 'module.conv3x.1.bn3.weight', 'module.conv3x.1.bn3.bias', 'module.conv3x.1.bn3.running_mean', 'module.conv3x.1.bn3.running_var', 'module.conv3x.1.bn3.num_batches_tracked', 'module.conv3x.2.conv1.weight', 'module.conv3x.2.bn1.weight', 'module.conv3x.2.bn1.bias', 'module.conv3x.2.bn1.running_mean', 'module.conv3x.2.bn1.running_var', 'module.conv3x.2.bn1.num_batches_tracked', 'module.conv3x.2.conv2.weight', 'module.conv3x.2.bn2.weight', 'module.conv3x.2.bn2.bias', 'module.conv3x.2.bn2.running_mean', 'module.conv3x.2.bn2.running_var', 'module.conv3x.2.bn2.num_batches_tracked', 'module.conv3x.2.conv3.weight', 'module.conv3x.2.bn3.weight', 'module.conv3x.2.bn3.bias', 'module.conv3x.2.bn3.running_mean', 'module.conv3x.2.bn3.running_var', 'module.conv3x.2.bn3.num_batches_tracked', 'module.conv3x.3.conv1.weight', 'module.conv3x.3.bn1.weight', 'module.conv3x.3.bn1.bias', 'module.conv3x.3.bn1.running_mean', 'module.conv3x.3.bn1.running_var', 'module.conv3x.3.bn1.num_batches_tracked', 'module.conv3x.3.conv2.weight', 'module.conv3x.3.bn2.weight', 'module.conv3x.3.bn2.bias', 'module.conv3x.3.bn2.running_mean', 'module.conv3x.3.bn2.running_var', 'module.conv3x.3.bn2.num_batches_tracked', 'module.conv3x.3.conv3.weight', 'module.conv3x.3.bn3.weight', 'module.conv3x.3.bn3.bias', 'module.conv3x.3.bn3.running_mean', 'module.conv3x.3.bn3.running_var', 'module.conv3x.3.bn3.num_batches_tracked', 'module.conv4x.0.conv1.weight', 'module.conv4x.0.bn1.weight', 'module.conv4x.0.bn1.bias', 'module.conv4x.0.bn1.running_mean', 'module.conv4x.0.bn1.running_var', 'module.conv4x.0.bn1.num_batches_tracked', 'module.conv4x.0.conv2.weight', 'module.conv4x.0.bn2.weight', 'module.conv4x.0.bn2.bias', 'module.conv4x.0.bn2.running_mean', 'module.conv4x.0.bn2.running_var', 'module.conv4x.0.bn2.num_batches_tracked', 'module.conv4x.0.conv3.weight', 'module.conv4x.0.bn3.weight', 'module.conv4x.0.bn3.bias', 'module.conv4x.0.bn3.running_mean', 'module.conv4x.0.bn3.running_var', 'module.conv4x.0.bn3.num_batches_tracked', 'module.conv4x.0.projection.0.weight', 'module.conv4x.0.projection.1.weight', 'module.conv4x.0.projection.1.bias', 'module.conv4x.0.projection.1.running_mean', 'module.conv4x.0.projection.1.running_var', 'module.conv4x.0.projection.1.num_batches_tracked', 'module.conv4x.1.conv1.weight', 'module.conv4x.1.bn1.weight', 'module.conv4x.1.bn1.bias', 'module.conv4x.1.bn1.running_mean', 'module.conv4x.1.bn1.running_var', 'module.conv4x.1.bn1.num_batches_tracked', 'module.conv4x.1.conv2.weight', 'module.conv4x.1.bn2.weight', 'module.conv4x.1.bn2.bias', 'module.conv4x.1.bn2.running_mean', 'module.conv4x.1.bn2.running_var', 'module.conv4x.1.bn2.num_batches_tracked', 'module.conv4x.1.conv3.weight', 'module.conv4x.1.bn3.weight', 'module.conv4x.1.bn3.bias', 'module.conv4x.1.bn3.running_mean', 'module.conv4x.1.bn3.running_var', 'module.conv4x.1.bn3.num_batches_tracked', 'module.conv4x.2.conv1.weight', 'module.conv4x.2.bn1.weight', 'module.conv4x.2.bn1.bias', 'module.conv4x.2.bn1.running_mean', 'module.conv4x.2.bn1.running_var', 'module.conv4x.2.bn1.num_batches_tracked', 'module.conv4x.2.conv2.weight', 'module.conv4x.2.bn2.weight', 'module.conv4x.2.bn2.bias', 'module.conv4x.2.bn2.running_mean', 'module.conv4x.2.bn2.running_var', 'module.conv4x.2.bn2.num_batches_tracked', 'module.conv4x.2.conv3.weight', 'module.conv4x.2.bn3.weight', 'module.conv4x.2.bn3.bias', 'module.conv4x.2.bn3.running_mean', 'module.conv4x.2.bn3.running_var', 'module.conv4x.2.bn3.num_batches_tracked', 'module.conv4x.3.conv1.weight', 'module.conv4x.3.bn1.weight', 'module.conv4x.3.bn1.bias', 'module.conv4x.3.bn1.running_mean', 'module.conv4x.3.bn1.running_var', 'module.conv4x.3.bn1.num_batches_tracked', 'module.conv4x.3.conv2.weight', 'module.conv4x.3.bn2.weight', 'module.conv4x.3.bn2.bias', 'module.conv4x.3.bn2.running_mean', 'module.conv4x.3.bn2.running_var', 'module.conv4x.3.bn2.num_batches_tracked', 'module.conv4x.3.conv3.weight', 'module.conv4x.3.bn3.weight', 'module.conv4x.3.bn3.bias', 'module.conv4x.3.bn3.running_mean', 'module.conv4x.3.bn3.running_var', 'module.conv4x.3.bn3.num_batches_tracked', 'module.conv4x.4.conv1.weight', 'module.conv4x.4.bn1.weight', 'module.conv4x.4.bn1.bias', 'module.conv4x.4.bn1.running_mean', 'module.conv4x.4.bn1.running_var', 'module.conv4x.4.bn1.num_batches_tracked', 'module.conv4x.4.conv2.weight', 'module.conv4x.4.bn2.weight', 'module.conv4x.4.bn2.bias', 'module.conv4x.4.bn2.running_mean', 'module.conv4x.4.bn2.running_var', 'module.conv4x.4.bn2.num_batches_tracked', 'module.conv4x.4.conv3.weight', 'module.conv4x.4.bn3.weight', 'module.conv4x.4.bn3.bias', 'module.conv4x.4.bn3.running_mean', 'module.conv4x.4.bn3.running_var', 'module.conv4x.4.bn3.num_batches_tracked', 'module.conv4x.5.conv1.weight', 'module.conv4x.5.bn1.weight', 'module.conv4x.5.bn1.bias', 'module.conv4x.5.bn1.running_mean', 'module.conv4x.5.bn1.running_var', 'module.conv4x.5.bn1.num_batches_tracked', 'module.conv4x.5.conv2.weight', 'module.conv4x.5.bn2.weight', 'module.conv4x.5.bn2.bias', 'module.conv4x.5.bn2.running_mean', 'module.conv4x.5.bn2.running_var', 'module.conv4x.5.bn2.num_batches_tracked', 'module.conv4x.5.conv3.weight', 'module.conv4x.5.bn3.weight', 'module.conv4x.5.bn3.bias', 'module.conv4x.5.bn3.running_mean', 'module.conv4x.5.bn3.running_var', 'module.conv4x.5.bn3.num_batches_tracked', 'module.conv5x.0.conv1.weight', 'module.conv5x.0.bn1.weight', 'module.conv5x.0.bn1.bias', 'module.conv5x.0.bn1.running_mean', 'module.conv5x.0.bn1.running_var', 'module.conv5x.0.bn1.num_batches_tracked', 'module.conv5x.0.conv2.weight', 'module.conv5x.0.bn2.weight', 'module.conv5x.0.bn2.bias', 'module.conv5x.0.bn2.running_mean', 'module.conv5x.0.bn2.running_var', 'module.conv5x.0.bn2.num_batches_tracked', 'module.conv5x.0.conv3.weight', 'module.conv5x.0.bn3.weight', 'module.conv5x.0.bn3.bias', 'module.conv5x.0.bn3.running_mean', 'module.conv5x.0.bn3.running_var', 'module.conv5x.0.bn3.num_batches_tracked', 'module.conv5x.0.projection.0.weight', 'module.conv5x.0.projection.1.weight', 'module.conv5x.0.projection.1.bias', 'module.conv5x.0.projection.1.running_mean', 'module.conv5x.0.projection.1.running_var', 'module.conv5x.0.projection.1.num_batches_tracked', 'module.conv5x.1.conv1.weight', 'module.conv5x.1.bn1.weight', 'module.conv5x.1.bn1.bias', 'module.conv5x.1.bn1.running_mean', 'module.conv5x.1.bn1.running_var', 'module.conv5x.1.bn1.num_batches_tracked', 'module.conv5x.1.conv2.weight', 'module.conv5x.1.bn2.weight', 'module.conv5x.1.bn2.bias', 'module.conv5x.1.bn2.running_mean', 'module.conv5x.1.bn2.running_var', 'module.conv5x.1.bn2.num_batches_tracked', 'module.conv5x.1.conv3.weight', 'module.conv5x.1.bn3.weight', 'module.conv5x.1.bn3.bias', 'module.conv5x.1.bn3.running_mean', 'module.conv5x.1.bn3.running_var', 'module.conv5x.1.bn3.num_batches_tracked', 'module.conv5x.2.conv1.weight', 'module.conv5x.2.bn1.weight', 'module.conv5x.2.bn1.bias', 'module.conv5x.2.bn1.running_mean', 'module.conv5x.2.bn1.running_var', 'module.conv5x.2.bn1.num_batches_tracked', 'module.conv5x.2.conv2.weight', 'module.conv5x.2.bn2.weight', 'module.conv5x.2.bn2.bias', 'module.conv5x.2.bn2.running_mean', 'module.conv5x.2.bn2.running_var', 'module.conv5x.2.bn2.num_batches_tracked', 'module.conv5x.2.conv3.weight', 'module.conv5x.2.bn3.weight', 'module.conv5x.2.bn3.bias', 'module.conv5x.2.bn3.running_mean', 'module.conv5x.2.bn3.running_var', 'module.conv5x.2.bn3.num_batches_tracked', 'module.linear.weight', 'module.linear.bias'])
odict_keys(['conv1.weight', 'bn1.weight', 'bn1.bias', 'bn1.running_mean', 'bn1.running_var', 'bn1.num_batches_tracked', 'conv2x.0.conv1.weight', 'conv2x.0.bn1.weight', 'conv2x.0.bn1.bias', 'conv2x.0.bn1.running_mean', 'conv2x.0.bn1.running_var', 'conv2x.0.bn1.num_batches_tracked', 'conv2x.0.conv2.weight', 'conv2x.0.bn2.weight', 'conv2x.0.bn2.bias', 'conv2x.0.bn2.running_mean', 'conv2x.0.bn2.running_var', 'conv2x.0.bn2.num_batches_tracked', 'conv2x.0.conv3.weight', 'conv2x.0.bn3.weight', 'conv2x.0.bn3.bias', 'conv2x.0.bn3.running_mean', 'conv2x.0.bn3.running_var', 'conv2x.0.bn3.num_batches_tracked', 'conv2x.0.projection.0.weight', 'conv2x.0.projection.1.weight', 'conv2x.0.projection.1.bias', 'conv2x.0.projection.1.running_mean', 'conv2x.0.projection.1.running_var', 'conv2x.0.projection.1.num_batches_tracked', 'conv2x.1.conv1.weight', 'conv2x.1.bn1.weight', 'conv2x.1.bn1.bias', 'conv2x.1.bn1.running_mean', 'conv2x.1.bn1.running_var', 'conv2x.1.bn1.num_batches_tracked', 'conv2x.1.conv2.weight', 'conv2x.1.bn2.weight', 'conv2x.1.bn2.bias', 'conv2x.1.bn2.running_mean', 'conv2x.1.bn2.running_var', 'conv2x.1.bn2.num_batches_tracked', 'conv2x.1.conv3.weight', 'conv2x.1.bn3.weight', 'conv2x.1.bn3.bias', 'conv2x.1.bn3.running_mean', 'conv2x.1.bn3.running_var', 'conv2x.1.bn3.num_batches_tracked', 'conv2x.2.conv1.weight', 'conv2x.2.bn1.weight', 'conv2x.2.bn1.bias', 'conv2x.2.bn1.running_mean', 'conv2x.2.bn1.running_var', 'conv2x.2.bn1.num_batches_tracked', 'conv2x.2.conv2.weight', 'conv2x.2.bn2.weight', 'conv2x.2.bn2.bias', 'conv2x.2.bn2.running_mean', 'conv2x.2.bn2.running_var', 'conv2x.2.bn2.num_batches_tracked', 'conv2x.2.conv3.weight', 'conv2x.2.bn3.weight', 'conv2x.2.bn3.bias', 'conv2x.2.bn3.running_mean', 'conv2x.2.bn3.running_var', 'conv2x.2.bn3.num_batches_tracked', 'conv3x.0.conv1.weight', 'conv3x.0.bn1.weight', 'conv3x.0.bn1.bias', 'conv3x.0.bn1.running_mean', 'conv3x.0.bn1.running_var', 'conv3x.0.bn1.num_batches_tracked', 'conv3x.0.conv2.weight', 'conv3x.0.bn2.weight', 'conv3x.0.bn2.bias', 'conv3x.0.bn2.running_mean', 'conv3x.0.bn2.running_var', 'conv3x.0.bn2.num_batches_tracked', 'conv3x.0.conv3.weight', 'conv3x.0.bn3.weight', 'conv3x.0.bn3.bias', 'conv3x.0.bn3.running_mean', 'conv3x.0.bn3.running_var', 'conv3x.0.bn3.num_batches_tracked', 'conv3x.0.projection.0.weight', 'conv3x.0.projection.1.weight', 'conv3x.0.projection.1.bias', 'conv3x.0.projection.1.running_mean', 'conv3x.0.projection.1.running_var', 'conv3x.0.projection.1.num_batches_tracked', 'conv3x.1.conv1.weight', 'conv3x.1.bn1.weight', 'conv3x.1.bn1.bias', 'conv3x.1.bn1.running_mean', 'conv3x.1.bn1.running_var', 'conv3x.1.bn1.num_batches_tracked', 'conv3x.1.conv2.weight', 'conv3x.1.bn2.weight', 'conv3x.1.bn2.bias', 'conv3x.1.bn2.running_mean', 'conv3x.1.bn2.running_var', 'conv3x.1.bn2.num_batches_tracked', 'conv3x.1.conv3.weight', 'conv3x.1.bn3.weight', 'conv3x.1.bn3.bias', 'conv3x.1.bn3.running_mean', 'conv3x.1.bn3.running_var', 'conv3x.1.bn3.num_batches_tracked', 'conv3x.2.conv1.weight', 'conv3x.2.bn1.weight', 'conv3x.2.bn1.bias', 'conv3x.2.bn1.running_mean', 'conv3x.2.bn1.running_var', 'conv3x.2.bn1.num_batches_tracked', 'conv3x.2.conv2.weight', 'conv3x.2.bn2.weight', 'conv3x.2.bn2.bias', 'conv3x.2.bn2.running_mean', 'conv3x.2.bn2.running_var', 'conv3x.2.bn2.num_batches_tracked', 'conv3x.2.conv3.weight', 'conv3x.2.bn3.weight', 'conv3x.2.bn3.bias', 'conv3x.2.bn3.running_mean', 'conv3x.2.bn3.running_var', 'conv3x.2.bn3.num_batches_tracked', 'conv3x.3.conv1.weight', 'conv3x.3.bn1.weight', 'conv3x.3.bn1.bias', 'conv3x.3.bn1.running_mean', 'conv3x.3.bn1.running_var', 'conv3x.3.bn1.num_batches_tracked', 'conv3x.3.conv2.weight', 'conv3x.3.bn2.weight', 'conv3x.3.bn2.bias', 'conv3x.3.bn2.running_mean', 'conv3x.3.bn2.running_var', 'conv3x.3.bn2.num_batches_tracked', 'conv3x.3.conv3.weight', 'conv3x.3.bn3.weight', 'conv3x.3.bn3.bias', 'conv3x.3.bn3.running_mean', 'conv3x.3.bn3.running_var', 'conv3x.3.bn3.num_batches_tracked', 'conv4x.0.conv1.weight', 'conv4x.0.bn1.weight', 'conv4x.0.bn1.bias', 'conv4x.0.bn1.running_mean', 'conv4x.0.bn1.running_var', 'conv4x.0.bn1.num_batches_tracked', 'conv4x.0.conv2.weight', 'conv4x.0.bn2.weight', 'conv4x.0.bn2.bias', 'conv4x.0.bn2.running_mean', 'conv4x.0.bn2.running_var', 'conv4x.0.bn2.num_batches_tracked', 'conv4x.0.conv3.weight', 'conv4x.0.bn3.weight', 'conv4x.0.bn3.bias', 'conv4x.0.bn3.running_mean', 'conv4x.0.bn3.running_var', 'conv4x.0.bn3.num_batches_tracked', 'conv4x.0.projection.0.weight', 'conv4x.0.projection.1.weight', 'conv4x.0.projection.1.bias', 'conv4x.0.projection.1.running_mean', 'conv4x.0.projection.1.running_var', 'conv4x.0.projection.1.num_batches_tracked', 'conv4x.1.conv1.weight', 'conv4x.1.bn1.weight', 'conv4x.1.bn1.bias', 'conv4x.1.bn1.running_mean', 'conv4x.1.bn1.running_var', 'conv4x.1.bn1.num_batches_tracked', 'conv4x.1.conv2.weight', 'conv4x.1.bn2.weight', 'conv4x.1.bn2.bias', 'conv4x.1.bn2.running_mean', 'conv4x.1.bn2.running_var', 'conv4x.1.bn2.num_batches_tracked', 'conv4x.1.conv3.weight', 'conv4x.1.bn3.weight', 'conv4x.1.bn3.bias', 'conv4x.1.bn3.running_mean', 'conv4x.1.bn3.running_var', 'conv4x.1.bn3.num_batches_tracked', 'conv4x.2.conv1.weight', 'conv4x.2.bn1.weight', 'conv4x.2.bn1.bias', 'conv4x.2.bn1.running_mean', 'conv4x.2.bn1.running_var', 'conv4x.2.bn1.num_batches_tracked', 'conv4x.2.conv2.weight', 'conv4x.2.bn2.weight', 'conv4x.2.bn2.bias', 'conv4x.2.bn2.running_mean', 'conv4x.2.bn2.running_var', 'conv4x.2.bn2.num_batches_tracked', 'conv4x.2.conv3.weight', 'conv4x.2.bn3.weight', 'conv4x.2.bn3.bias', 'conv4x.2.bn3.running_mean', 'conv4x.2.bn3.running_var', 'conv4x.2.bn3.num_batches_tracked', 'conv4x.3.conv1.weight', 'conv4x.3.bn1.weight', 'conv4x.3.bn1.bias', 'conv4x.3.bn1.running_mean', 'conv4x.3.bn1.running_var', 'conv4x.3.bn1.num_batches_tracked', 'conv4x.3.conv2.weight', 'conv4x.3.bn2.weight', 'conv4x.3.bn2.bias', 'conv4x.3.bn2.running_mean', 'conv4x.3.bn2.running_var', 'conv4x.3.bn2.num_batches_tracked', 'conv4x.3.conv3.weight', 'conv4x.3.bn3.weight', 'conv4x.3.bn3.bias', 'conv4x.3.bn3.running_mean', 'conv4x.3.bn3.running_var', 'conv4x.3.bn3.num_batches_tracked', 'conv4x.4.conv1.weight', 'conv4x.4.bn1.weight', 'conv4x.4.bn1.bias', 'conv4x.4.bn1.running_mean', 'conv4x.4.bn1.running_var', 'conv4x.4.bn1.num_batches_tracked', 'conv4x.4.conv2.weight', 'conv4x.4.bn2.weight', 'conv4x.4.bn2.bias', 'conv4x.4.bn2.running_mean', 'conv4x.4.bn2.running_var', 'conv4x.4.bn2.num_batches_tracked', 'conv4x.4.conv3.weight', 'conv4x.4.bn3.weight', 'conv4x.4.bn3.bias', 'conv4x.4.bn3.running_mean', 'conv4x.4.bn3.running_var', 'conv4x.4.bn3.num_batches_tracked', 'conv4x.5.conv1.weight', 'conv4x.5.bn1.weight', 'conv4x.5.bn1.bias', 'conv4x.5.bn1.running_mean', 'conv4x.5.bn1.running_var', 'conv4x.5.bn1.num_batches_tracked', 'conv4x.5.conv2.weight', 'conv4x.5.bn2.weight', 'conv4x.5.bn2.bias', 'conv4x.5.bn2.running_mean', 'conv4x.5.bn2.running_var', 'conv4x.5.bn2.num_batches_tracked', 'conv4x.5.conv3.weight', 'conv4x.5.bn3.weight', 'conv4x.5.bn3.bias', 'conv4x.5.bn3.running_mean', 'conv4x.5.bn3.running_var', 'conv4x.5.bn3.num_batches_tracked', 'conv5x.0.conv1.weight', 'conv5x.0.bn1.weight', 'conv5x.0.bn1.bias', 'conv5x.0.bn1.running_mean', 'conv5x.0.bn1.running_var', 'conv5x.0.bn1.num_batches_tracked', 'conv5x.0.conv2.weight', 'conv5x.0.bn2.weight', 'conv5x.0.bn2.bias', 'conv5x.0.bn2.running_mean', 'conv5x.0.bn2.running_var', 'conv5x.0.bn2.num_batches_tracked', 'conv5x.0.conv3.weight', 'conv5x.0.bn3.weight', 'conv5x.0.bn3.bias', 'conv5x.0.bn3.running_mean', 'conv5x.0.bn3.running_var', 'conv5x.0.bn3.num_batches_tracked', 'conv5x.0.projection.0.weight', 'conv5x.0.projection.1.weight', 'conv5x.0.projection.1.bias', 'conv5x.0.projection.1.running_mean', 'conv5x.0.projection.1.running_var', 'conv5x.0.projection.1.num_batches_tracked', 'conv5x.1.conv1.weight', 'conv5x.1.bn1.weight', 'conv5x.1.bn1.bias', 'conv5x.1.bn1.running_mean', 'conv5x.1.bn1.running_var', 'conv5x.1.bn1.num_batches_tracked', 'conv5x.1.conv2.weight', 'conv5x.1.bn2.weight', 'conv5x.1.bn2.bias', 'conv5x.1.bn2.running_mean', 'conv5x.1.bn2.running_var', 'conv5x.1.bn2.num_batches_tracked', 'conv5x.1.conv3.weight', 'conv5x.1.bn3.weight', 'conv5x.1.bn3.bias', 'conv5x.1.bn3.running_mean', 'conv5x.1.bn3.running_var', 'conv5x.1.bn3.num_batches_tracked', 'conv5x.2.conv1.weight', 'conv5x.2.bn1.weight', 'conv5x.2.bn1.bias', 'conv5x.2.bn1.running_mean', 'conv5x.2.bn1.running_var', 'conv5x.2.bn1.num_batches_tracked', 'conv5x.2.conv2.weight', 'conv5x.2.bn2.weight', 'conv5x.2.bn2.bias', 'conv5x.2.bn2.running_mean', 'conv5x.2.bn2.running_var', 'conv5x.2.bn2.num_batches_tracked', 'conv5x.2.conv3.weight', 'conv5x.2.bn3.weight', 'conv5x.2.bn3.bias', 'conv5x.2.bn3.running_mean', 'conv5x.2.bn3.running_var', 'conv5x.2.bn3.num_batches_tracked', 'linear.weight', 'linear.bias'])

Visualize Transform - Rescale, HFlip, RandomCrop, ColorJitter

def visualize_transform(image):
    sample = {
        'image': image,
        'annotation': 'cat',
    }
    transform = Compose([
        Rescale(256),
        RandomHorizontalFlip(0.5),
        RandomCrop(224),
        ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0),
    ])
    plt.figure(figsize=(20,10))
    for i in range(1, 11):
        transformed = transform(sample)
        transformed_image = np.asarray(transformed['image'])
        plt.subplot(2, 5, i)
        plt.imshow(transformed_image)

image_path = '../test_images/cat1.jpg'
image = cv2.imread(image_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
plt.figure(figsize=(5,5))
plt.imshow(image)

<matplotlib.image.AxesImage at 0x12da6df60>

visualize_transform(image)

image_path = '../test_images/dog1.jpg'
image = cv2.imread(image_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
plt.figure(figsize=(5,5))
plt.imshow(image)

<matplotlib.image.AxesImage at 0x12e7fceb8>

visualize_transform(image)

image_path = '../test_images/shark1.jpg'
image = cv2.imread(image_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
plt.figure(figsize=(5,5))
plt.imshow(image)

<matplotlib.image.AxesImage at 0x10faa6400>

visualize_transform(image)

image_path = '../test_images/stove1.jpg'
image = cv2.imread(image_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
plt.figure(figsize=(5,5))
plt.imshow(image)

<matplotlib.image.AxesImage at 0x12f3b09b0>

visualize_transform(image)